Apache Kafka

Продукт
Разработчики: Apache Software Foundation (ASF)
Дата последнего релиза: 2014/04/29
Технологии: СУБД

Содержание

Apache Kafka - распределённый программный брокер сообщений, проект с открытым исходным кодом[1].

2020: Доступность Yandex Managed Service for Apache Kafka в Яндекс.Облаке

Платформа Яндекс.Облако открывает доступ к сервису Yandex Managed Service for Apache Kafka, который упрощает для разработчиков и DevOps-инженеров создание и управление приложениями в Яндекс.Облаке, и не требует экспертизы в управлении инфраструктурой Apache Kafka и Apache Zookeeper. Сервис работает в режиме preview, бесплатный доступ предоставляется по запросу. Об этом стало известно 28 июля 2020 года. Подробнее здесь.

2019: Модель развития с привлечением многих заинтересованных сторон

Одной из ключевых потребностей современных ИТ является возможность потоковой передачи данных в реальном времени. Именно для этих целей предназначена платформа Apache Kafka, которая может передавать потоковые данные об истории посещений веб-сайтов, финансовые транзакции и журналы приложений в приложения, разработанные на платформах Apache Spark Streaming, Apache Storm или Apache Samza. Kafka была разработана LinkedIn и в использует модель развития с привлечением многих заинтересованных сторон. По данным ASF, платформа применяется многими крупными компаниями, включая Airbnb, LinkedIn, MailChimp, Netflix, New York Times, Oracle, PayPal, Pinterest, Spotify, Twitter и Uber.

2015: Свойства Apache Kafka

Разработан в рамках Apache Software Foundation. Написан на языке программирования Scala.

Свойства

  • изначально проектировался, как распределённая система, которую легко масштабировать,
  • поддерживает высокую пропускную способность, как со стороны источников, так и для систем-подписчиков,
  • поддерживает объединение подписчиков в группы,
  • обеспечивает возможность временного хранения данных для последующей пакетной обработки.

Одна из особенностей - применение техники, сходной с журналами транзакций, используемых в системах управления базами данных.

Вначале продукт разрабатывала компания LinkedIn, исходные коды проекта открыты в начале 2011 года.Догнать и перегнать: Российские ВКС прирастают новыми функциями 8.9 т

Продукт распространяется под лицензией Apache License 2.0.

Примечания



ПРОЕКТЫ (14) ПРОЕКТЫ НА БАЗЕ (1) ИНТЕГРАТОРЫ (11)
РЕШЕНИЕ НА БАЗЕ (1) СМ. ТАКЖЕ (132)
25.04.24VK Cloud Универсальная облачная платформа для развития цифровых сервисов (ранее VK Cloud Solutions)
23.04.24Жизнь в эпоху высоконагруженных информационных систем: основные подходы к разработке
23.04.24Гостех (Единая цифровая платформа Российской Федерации)
18.04.24Axenix (ранее Аксенчер Россия) Аксеникс
17.04.24VK (ранее Mail.ru Group)
15.04.24Информационные технологии в Сбербанке
12.04.24Yandex.Cloud Услуги виртуальной вычислительной инфраструктуры
12.04.24CloudMTS
05.04.24QWell, ГК (Проекты ИТ-аутсорсинга)
02.04.24Диасофт (Diasoft)
02.04.24ADH - Arenadata Hadoop
29.03.24Информационные технологии в группе ВТБ
27.03.24ADB - Arenadata DB
29.02.24SimpleOne (Симпл 1) (ITglobal.com: Публичное облако (IaaS))
02.02.24Российский рынок банковской информатизации
31.01.24Главные тенденции рынка BI в России
18.01.24БКС - Инвестиционный Банк (Arenadata Catalog)
11.01.24Серверы Ситроникс
27.12.23Технологии коммуникаций: Платформа Эра
06.12.23IT One: OneData ETL-продукт по перемещению и интеграции данных в хранилищах
26.11.23Low-code Day 2024
26.11.23Импортозамещение 20243: реальный опыт
16.11.23Московский кредитный банк (МКБ) (OpenMetadata)
12.11.23Snowplow Open Source Инструмент для сбора данных о поведении потребителей
02.11.23ITSumma ITS Data Processing Platform
02.11.23ADS - Arenadata Streaming
01.11.23FM Logistic (ФМ Ложистик) (Apache Kafka)
27.10.23Цифровая Траектория: Action Track (ATC)
25.10.23СЭД+
24.10.23Корус Консалтинг

<< < 1 2 3 4 5 > >>


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  SAP CIS (САП СНГ) (38)
  Softline (Софтлайн) (35)
  РДТЕХ (32)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (28)
  ФОРС - Центр разработки (25)
  Другие (706)

  Сапиенс солюшнс (Sapiens solutions) (7)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (3)
  Navicon (Навикон) (3)
  Крок (2)
  Softline (Софтлайн) (2)
  Другие (35)

  Атомдата (Atomdata) (1)
  Группа Борлас (Borlas) (1)
  Диасофт (Diasoft) (1)
  КРИТ (KRIT) (1)
  Arenadata (Аренадата Софтвер) (1)
  Другие (20)

  Arenadata (Аренадата Софтвер) (5)
  Тантор Лабс (Tantor Labs) (3)
  ФОРС - Центр разработки (2)
  Документум Системс (1)
  ЗащитаИнфоТранс ФГУП (1)
  Другие (18)

  AllSee (АЛЛ СИИ) (1)
  GMCS (1)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (1)
  RDV (РДВ Автоматизация) (1)
  БФТ-Холдинг, БФТ (ранее Бюджетные и Финансовые Технологии) (1)
  Другие (4)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle (44, 179)
  SAP SE (6, 175)
  Microsoft (23, 142)
  PostgreSQL Global Development Group (14, 120)
  Постгрес профессиональный (ППГ, Postgres Professional) (6, 39)
  Другие (253, 204)

  SAP SE (3, 11)
  Microsoft (3, 11)
  PostgreSQL Global Development Group (3, 10)
  Oracle (2, 4)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 3)
  Другие (10, 13)

  PostgreSQL Global Development Group (4, 9)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 6)
  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (2, 3)
  Arenadata (Аренадата Софтвер) (3, 2)
  Apache Software Foundation (ASF) (2, 2)
  Другие (9, 9)

  PostgreSQL Global Development Group (3, 13)
  Постгрес профессиональный (ППГ, Postgres Professional) (1, 6)
  Arenadata (Аренадата Софтвер) (3, 5)
  Apache Software Foundation (ASF) (3, 4)
  Тантор Лабс (Tantor Labs) (2, 3)
  Другие (8, 10)

  PostgreSQL Global Development Group (3, 7)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 4)
  Диасофт (Diasoft) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle Database - 106
  Microsoft SQL Server - 104
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 101
  PostgreSQL СУБД - 77
  SAP HANA (High Performance Analytic Appliance) - 71
  Другие 352

  Microsoft SQL Server - 9
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
  PostgreSQL СУБД - 7
  Oracle Database - 3
  SAP HANA (High Performance Analytic Appliance) - 3
  Другие 21

  Postgres Pro СУБД - 5
  ADB - Arenadata DB - 2
  PostgreSQL СУБД - 2
  Oracle Database - 2
  Tarantool Платформа in‑memory вычислений - 2
  Другие 13

  Postgres Pro СУБД - 6
  PostgreSQL СУБД - 4
  Tantor СУБД - 3
  ADB - Arenadata DB - 3
  ClickHouse - система управления базами данных (СУБД) - 2
  Другие 10

  PostgreSQL СУБД - 3
  Postgres Pro СУБД - 3
  Postgres Pro Enterprise - 1
  Diasoft Digital Q.Database - 1
  Другие 0